

(12) NACH DEM VERTiCC& UBER DEE INTERNATIONALE ZUSAMJVffiNARSEnT^ GEBIET DES TS ^r\r\^ 

PATENTWESENS (PCT) VEROFFENTLICHTE INTERNATIONALE ANMELDUNG ' ' ^ ^ 



(19) Weltorganisation fur geistiges Eigentum 
Internationales BUro 

(43) Intemationales VerdfTenUidiiuigsdatuin 
8. April 2004 (08.04.2004) 




PCT 



(10) Internationale Veroffentlichungsnununer 

WO 2004/029877 A2 



(51) Internationale Patentklassifikation^: G06T 7/00, 
B60R 1/00 

(21) Internationales Aktenzeichen: PCT/EP2003/0104S6 

(22) Internationales Anmeldedatum: 

19. September 2003 (19.09.2003) 



(25) Einreichungssprache: 

(26) VerofTentiichungssprache; 



Deutsch 
Deutsch 



(30) Angaben zur Prioritat: 

102 44 148.0 23. September 2002 (23.09.2002) DE 



(71) Anmelder (fur cdle Bestimmungsstaaten mitAusnahme von 
US): DAIMLERCHRYSLER AG [DEADE]; Epplestrasse 
225, 70567 Munchen (DE). 

(72) Erfinder; imd 

(75) Erfinder/Anmelder (nur fur US): BRAUNL, Thomas 
[DE/AU]; The University of Western Australia, 35 Stiriing 
Highway, Crawely Perth, W.A. (AU). FRANKE, Uwe 
[DE/DE]; Benzstrasse 33, 73066 Uhingen (DE). 

(74) Anwalt: DAIMLERCHRYSLER AG; Intellectual Prop- 
erty Management, HPC U800, Wilhelm-Runge-Strasse 11, 
89081 Ulm (DE). 

[Fortsetzung auf der nUchsten Seite] 



(54) Title: METHOD AND DEVICE FOR THE VIDEO-BASED MONITORING AND MEASUREMENT OF THE LATERAL 
ENVIRONMENT OF A VEHICLE 



m 

m 

o 
o 

5 



(54) Bezeichnung: VERFAHREN UND VORRICHTUNG ZUR VIDEOBASIERTEN BEOBACHTUNG UND VERMESSUNG 
DER SETTLICHEN UMGEBUNG FINES FAHRZEUGS 



Stral&e 

ROAD 



I 20 -^v 



< 

00 

On 




(57) Abstract: The first commercially-available 
driver assist systems required a compromise between 
the resolution of the scanning and the extent of 
the scanned region, according to application. 
Conventional video-based systems have a good 
compromise between resolution and recording range, 
however do not generally provide direct distance 
information. According to the new arrangement of 
the object of the invention, it is possible to achieve 
a system, which, on installation in a road vehicle, 
can record complex dynamic scenes, for example the 
lateral 3D geometry to the road edge from the point 
of view of the djmamically operating vehicle and 
use the same to advantage on parking. According 
to the invention, the monitoring and measuring of 
the lateral environment of a vehicle is displayed on 
the one hand by means of a camera with the digital 
images and on the other hand with a computer unit 
which serves to provide the images with a time 
stamp and to buffer the same. The movements of 
the vehicle are further recorded, in order to select 
image pairs from the buffered images, based on the 
above data. A local 3D depth image of the lateral 
environment of a vehicle can thus be generated by 
an algorithm for stereo image processing. 
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(57) Zusammenfassung: Je nach Anwendung 
bediirfen erste am Markt erhaldiche Fahrerassistenz- 
systeme eines Kompromisses zwischen Auflosung 
der Abtastung und Grdsse des erfassten Bereichs. Herkonmiliche videobasierte Systeme bieten zwar einen guten Kompromiss 
zwischen Aufldsung und Erfassungsbereich, jedoch liefem diese im allgemeinen keine direkte Entfemungsinformationen. Durch 
die neuartige Ausgestalmng des Erfindungsgegenstandes wird es erst mdglich ein System zu 
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schaffen, welches installiert in einem Strassenfahrzeug komplexe, dynamische Szenario, wie beispielsweise die seitliche 3D-Ge- 
ometrie zum Fahrbahnrand, aus Sicht des aktiv dynamisch agierenden Fahrzeugs zu erfassen und zu dessen Vorteil beim Einparken 
auswerten kann. Gemass der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs zum 
einen mittels einer Kamera mit der digitale Bilder aufgezeichnet werden und zum anderen mittels einer DV-Einheit die dazu dient, die 
digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichem. Weiteriiin wild die Eigenbewegung des Fahrzeugs er- 
fasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildem Bildpaare auszuw^len. Mittels eines Algorithmus zur 
Stereobildverarbeitung kann so auf Grundlage von Bildpaaren ein lokales 3D-liefenbild der seitlichen Umgebung eines Fahrzeugs 
generiert werden. 
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Beschreibung 



Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der 
seitlichen Umgebung eines Fahrzeugs 



Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur videobasierten 
5 Beobachtung und Vermessung der seitlichen Umgebung um ein StraBenfahrzeug. 

Je nach Anwendung bediirfen erste am Markt erhaltliche Fahrerassistenzsysteme eines 
Kompromlsses zwischen Auflosung der Abtastung und GroBe des erfaBten Bereichs. So 
muB sich z.B, die Radarsensorik fur eine ACC-Anwendung auf wenige Grad 
10 Erfassungsbereich horizontal beschranken, wahrend sich fur eine Einparkhilfefunktion 
bei der Erfassung der Umgebung neben dem Fahrzeug mit Ultraschall nur eine geringe 
Reichweite und Auflosung realisieren lassen. Herkommliche videobasierte Systeme 
bieten zwar einen guten KompromiB zwischen Auflosung und Erfassungsbereich, jedoch 
liefern diese im allgemeinen keine direkte Entfernungslnformation. 

15 



• 
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Systeme urn von zweidimensionalen Tiefenprofildaten unter Ausnutzung der 
Fahrzeugeigenbewegung auf dreidimensionale Umgebungsdaten zu gelangen, werden 
zum einen in den Schriften US 4 179 216 A1 und US 4 490 038 A1 fur die Kontrolle von 
Eisenbahntunnel und den fehlerfreien Verlauf von Schienenwegen aufgezeigt und zum 
5 anderen in US 5 278 423 A1 im Zusammenhang mit der gezielten Ausbringung von 
Pestiziden und der Erfassung des Baumbestandes von Plantagen beschrieben. In all 
diesen Systemen wird in einer Datenverarbeitungseinheit durch die Aneinanderreihung 
einer aufeinanderfolgenden Menge von Entfernungsprofiien ein dreidimensionales 
Abbild der Umgebung erzeugt. Urn die Abstande der einzelnen sequentiell 
10 aufgenommenen Profile zueinander zu ermittein sind an den Radern der die Systeme 
tragenden Fahrzeuge jeweils Entfernungsaufnehmer angeordnet 

Eine Vorrichtung zur Lageerfassung eines einen abtastenden Sensor tragenden 
landwirtschaftiichen Fahrzeugs wird in US 5 809 440 A1 beschrieben. Hierbei wird die 
Spur des Fahrzeugs mittels eines globalen Navigationssystems (GPS) verfolgt Da der 
15 zur Aufnahme des Bewuchses verwandte abtastende optische Sensor jedoch keine 
Entfernungsinformation liefert, wird durch Aneinanderreihung der Sensorinformation 
nur eine zweidimenslonale Kartographie des Untergrundes erreicht. 

Bei Fahrerassistenzsystemen kommen vermehrt Stereokamerasysteme zum Einsatz, 
mit deren Hilfe aufgrund der bekannten geometrischen Anordnung des verwendeten 

20 Kamerapaares die Objektweite rechnerisch ermittelt werden kann. Bei der 
Stereobildverarbeitung wird ein Objekt aus unterschiedlichen Richtungen mit einem 
Kamerapaar abgetastet AnschlieBend wird die Entfernung zwischen dem 
Stereokamerasystem und dem Objekt unter Berucksichtigung der Kamerapositionen 
und Ausrichtungen sowie der Kameraparameter basierend auf dem Prinzip der 

25 Triangulation bestimmt. 

In der DEI 99 26 559 A1 wird ein Verfahren sowie eine Vonrichtung zur Detektion von 
Objekten im Umfeld eines StraBenfahrzeugs genannt. Bei dem vorgestellten Verfahren 
wird die Entfernung zu einem bewegten Fahrzeug durch Auswertung von 
Stereobildpaaren berechnet und Eigenschaften der detektierten Objekte ermittelt. 
30 Insbesondere wird mittels Stereobildverarbeitung eine entfernungsbasierte 
Bildsegmentierung durchgefuhrt. In den segmentierten Bildbereichen wird anschlieBend 
eine Objekterkennung durchgefuhrt. 
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Ein ahnliches System ist aus der EP 108 72 57 A2 bekannt, dabei wird eine Anordnung 
zur Befestigung eines Stereokamerasystems in einem Fahrzeug beschrieben, welches 
dazu dient, eine dreidimensionale Distanzverteilung fur ein betrachtetes Objekt zu 
berechnen. Beim Einsatz in StraSenfahrzeugen sind solche aus dem Stand der Technik 
5 bekannten Systeme zur Stereobildverarbeitung jedocli nur bedingt geeignet, da die 
Position und Ausrichtung der Kamera selir exakt sein und mit hohem Aufwand justiert 
werden muss. Weiterhin ist eine derartige Anordnung fur den Alltagseinsatz bei 
unterschiedlichsten StraBenzustanden oft nicht robust genug und eine Dejustage des 
Systems jederzeit moglich. 

10 Der Erfindung liegt die Aufgabe zugrunde, ein neuartiges Verfahren zur videobasierten 
Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs sowie ein 
Fahrzeug mit einem Sensorsystem zur Durchfuhrung des Verfahrens gemaB den 
Oberbegriffen der Patentanspruche 1 und 15 zu schaffen, welches eine hohe 
mechanische Robustheit aufweist und sich ohne hohen Aufwand justieren laBt. 

15 Die Aufgabe wird gemaS der Erfindung durch ein Verfahren und eine Vorrichtung mit 
den Merkmalen der Patentanspruche 1 und 15 gelost. Vorteilhafte Ausgestaltungen und 
Weiterbildungen der Erfindung werden in den Unteranspriichen aufgezeigt. 

GemaB der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen 
Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parkiucken zum einen 
20 mittels einer Kamera mit der digitate Bilder aufgezeichnet werden und zum anderen 
mittels einer DV-Einheit die dazu dient, die digitalen Bilder mit einem Zeitstempel zu 
versehen und zwischenzuspeichern. 

In besonders vorteilhafter weise umfaBt die Vorrichtung weiterhin eine Einheit zur 
Erfassung der Eigenbewegung des Fahrzeugs, um auf Grundlage dieser Daten aus den 

25 zwischengespeicherten Bildern Bildpaare auszuwahlen. Es ist ein weiteres Mittel 
vorgesehen, um die zu den beiden Aufnahmezeitpunkten vorliegende Position und 
Ausrichtung der Kamera zu bestimmen. IVlittels eines Algorithmus zur 
Stereobildverarbeitung kann so auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild 
generiert werden, wobei hierbei die Position und Ausrichtung der Kamera zu den 

30 Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berucksichtigt 
wird, 

Durch die neuartige Ausgestaltung des Erfindungsgegenstandes wird es erst moglich 
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dynamische Szenario, wie beispielsweise die seitliche 3D-Geometrie zum 
Fahrbahnrand, aus Sicht des aktiv dynamisch agierenden Fahrzeugs zu erfassen und zu 
dessen Vorteil beim Einparken auswerten kann. Im Gegensatz zu emer paarweisen 
Kameraanordnung wie sie bei herkommlichen Stereokamerasystemen eingesetzt wird, 
5 bietet das erfinderische monokulare Kamerasystem in Verbindung mit dem 
erfindungsgemaBen Verfahren den Vorteil eines deutlich geringeren Platzbedarfs. Ein 
solches System stellt im Hinblick auf Designaspekte eine vorteilhafte Losung fur die 
Integration in das Falirzeug dar und bietet zusatzlich den Vorteil von vergleichsweise 
geringen Kosten durch den Verzicht auf eine zweite Kamera. Die mechanisclie 
10 Robustheit ist bei monokularen Kamerasystemen vergleichsweise hoher als bei 
Stereokameras. Ein weiterer Vorteil den Einzelkamerasysteme bieten, fst ein deutlich 
reduzierter Aufwand bei der Montage und Justage. 

In einer gewinnbringenden Ausfuhrungsform der Erfindung ist es denkbar, zur Auswahl 
von Bildern zu Bildpaaren fur die Stereobildverarbeitung, die Eigenbewegung und somit 

15 die zuruckgelegte Wegstrecke aufgrund der erfaBten Anzahl der Radumdrehungen zu 
ermitteln. Weitere Moglichkeiten zur Erfassung der Eigenbewegung eines 
StraBenfahrzeugs bieten auch Systeme fur die mobile Fahrzeugnavigation die 
hauptsachlich mit GPS (Global Positioning System) arbelten und somit Informationen 
uber die genaue Position bereitstellen. Auch kommen vermehrt Fahrdynamiksysteme in 

20 StraBenfahrzeugen zum Einsatz, welche unter Berucksichtigung von Motordaten sowie 
Informationen zu Lenkung und Bremse eine Vielzahl an Daten zur Eigenbewegung eines 
Fahrzeugs liefem. 

In besonders gewinnbringender Weise ist es insbesondere bei niedrigen 
Geschwindigkeiten denkbar, daB es sich bei den zu Bildpaaren auszuwahlenden Bildern 

25 nicht zwingend urn zwei unmittelbar aufeinanderfolgende Bildaufnahmen handeln muB. 
Fur zwei Bildaufnahmen zu einem Bildpaar sollte der Zeitstempel idealerweise 
derart gewahit sein, daB der Zeitunterschied unter Berucksichtigung der 
Fahrzeugeigengeschwindigkeit umgerechnet einer fest vorgegebenen Wegstrecke 
(Stereobasis) entspricht. Die Wegstrecke (Stereobasis) sollte vorzugsweise jedoch 

30 derart gewahit werden, daB sich diese in Abhangigkeit von der aktuellen 
Geschwindigkeit zum Zeitpunkt zweier Bildaufnahmen in einem Bereich zwischen 0,2 m 
und Im befindet. Da die durchschnittliche Fahrzeuggeschwindigkeit beim Einparken 
eines StraBenfahrzeugs ca. 12Km/h betragt, ist eine zuruckgelegte Wegstrecke 
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In einer weiteren vprteilhaften Ausgestaltung der Erfindung ist es denkbar, daB nur 
solche zwischengespeicherten Bildpaare zur weiteren Verarbeitung ausgewahit werden 
konnen, bei deren Aufnahnne sich die Kameraausriclitung nicht signifikant geandert hat. 
Durch eine Lageanderung des Fahrzeugs, beispielsweise aufgrund sich stark andernder 
5 StraBenverhaltnisse, kann eine Anderung der Kameraausrichtung hen/orgerufen 
werden. Eine Anderung der Kameraausrichtung zwischen zwei Aufnahmezeitpunkten 
fuhrt zu einer Verfalschung des Ergebnisses bei der weiteren Verarbeitung, ahnlich 
einer Dejustage eines Stereokamerasystems im Rahmen der Stereobildverarbeitung. 

Der Erfindungsgegenstand kann in besonders vorteilhafter Weise mit dem Ziel 
10 eingesetzt werden, um aus der mittels den Bildpaaren gewonnenen Abfolge von iokalen 
3D~Tiefenansichten durch Akkumulieren zu einer giobalen 3D-Tiefenansicht zu 
gelangen. Dabei werden die Bilddaten der einzelnen Iokalen 3D-Tiefenansichten, die 
denselben Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind miteinander 
addiert und in einer geometrischen Datenstruktur hinterlegt. Die geometrische 
15 Datenstruktur wird dabei kontinuierlich in der gleichen Richtung entsprechend der 
Fahrtrichtung des Fahrzeugs um die neu hinzugekommenen Biidbereiche erweitert. 

In einer weiteren vorteilhaften Ausgestaltung der Erfindung werden die fur eine globale 
3D-Tiefenansicht zu addierenden Bilddaten der jeweiligen Iokalen Ortspunkte vor dem 
Akkumulieren einer Gewlchtung unterzogen. Aufgrund dieser Gewichtung kann das 
20 beim Akkumulieren entstandene Rauschen durch nachfolgendes Filtern einzelner 
Bildpunkte reduzlert werden. 

In einer besonders gewinnbringenden Weise wird zum Filtern einzelner Bildpunkte das 
im Rahmen der Gewichtung mittels der akkumulierten SD-Tiefenansichten dargestellte 
Volumen in einzelne Volumenelemente unterteilt und die zu addierenden Bildpunkte auf 
25 die Volumenelemente verteilt. Bevorzugt umfassen alle Volumenelemente ein 
vordefiniertes, einheitliches Volumen, beispielsweise In der Form von Kuben. 

Vorteilhaft ist es die einzelnen Volumenelemente in einer hierarchischen Datenstruktur 
zu hinterlegen, insbesondere in einer Baumstruktur. Bei der Baumstruktur handelt es 
sich in gewinnbringender Weise um einen Octree. Wobei bei einem Octree jeder Knoten 
30 mittels eines 3D-Schlussels die Menge der gespeicherten Volumen auf acht 
Unterbaume (Volumenelemente) verteilt Jeder Unterbaum kann wiederum welter 
unterteilt sein. 
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In einer gewinnbringenden Weise wird den Volumenelementen die Anzahl der 
Bildpunkte innerhalb der einzelnen Volumenelemente jeweils als Gewicht zugeordnet. 
Aus diesem Grund wird zusatzlich zu den Daten der Bildpunkte das Gewicht der 
Volumenelemente in der Baumstruktur hinterlegt. 

5 Es ist besonders vorteilhaft das durchschnittliche Gewicht aller Volumenelemente 
ermittelt und somit ein Gesamtgewicht bestimmt. Mit dem Gesamtgewicht wird ein 
Schwellwert gebildet, auf dessen Grundlage entschieden wird, ob die in den einzelnen 
Volumenelementen enthaltenen Bildpunkte bei der weiteren Verarbeitung 
berucksichtigt werden. Dabei werden nur diejenigen Bildpunkte berucksichtigt, bei 
10 denen das ihnen zugeordnete Volumenelement ein Gewicht aufweist, das gleich oder 
groBer dem Schwellwert ist. In einer vorteilhaften Weise werden zur Bestimmung des 
Gesamtgewichts nur diejenigen Volumenelemente herangezogen, welche Bildpunkte 
enthalten. 

Der Erfindungsgegenstand kann in besonders vorteilhafter Weise mit dem Ziel 
15 eingesetzt werden, um den Schwellwert durch Multiplikation des Gesamtgewichts mit 
einem Tuningfaktor zu bilden. Bei der Untersuchung einer Einparksequenz mit einem 
Volumen von 8 x 3 x 5 m^ und einer Unterteilung in 8' Zeiien ergab sich ein 
durchschnittliches Gewicht von 7.7 fur die Zellen. Mit einem Tuningfaktor von 1.5 
konnte die Anzahl der Bildpunkte pro Bild somit von 46013 auf 29792 reduziert werden. 

20 Bei der im Rahmen der Erfindung genutzten Kamera, kann es sich um eine Kamera 
handein, welche Bestandteil eines anderen im Fahrzeug bereits vorhandenen 
Bildaufnahmesystems ist. 

Im nachfolgenden wird die Erfindung anhand eines Ausfuhrungsbeispiels und einer 
25 Figur im Detail eriautert. 

Beispielhaft zeigt die Figur ein Verkehrsszenario unter Einsatz der erfindungsgemaBen 
Vorrichtung, zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung 
um ein StraBenfahrzeug (10). Die Vermessung der seitlichen 3D-Geometrie eines 
30 fahrenden Fahrzeugs zum Fahrbahnrand wird hierbei zum Vermessen einer Parklucke 
eingesetzt. Am Fahrbahnrand kann sich ein parkendes Fahrzeug (40), eine Leitplanke 

fSO) Oder heliehitrp ^^nrif^ra rkhioUfa /Am M 
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Im StraBenfahrzeug (10) ist dazu eine monokulare Kamera (30) in Verbindung mit einer 
Rechnereinheit eingebaut. Die Kamera (30) ist derart ausgerichtet, daB der Winkel 
zwischen deren optischen Achse und der Fahrtrichtung (20) idealerweise 90'' betragt. 
Die mogliche Ausrichtung der Kamera (30) beschrankt sich jedoch nicht auf die 
5 senkrecht zur Fahrtrichtung (20) stehende Ausrichtung, sondern kann auch auf zu 
erfassende Bereiche unter einem Winkel von 45*" - ISS"* zur Fahrtrichtung (20) 
ausgerichtet sein. Die Variation der Ausrichtung der Kamera kann insbesondere fur 
unterschiedliche Gestaitungsmoglichkeiten hinsichtlich der Integration in das 
Gesamtfahrzeug in vortellhafter Weise genutzt werden. Die sich aus der Bewegung des 

10 Fahrzeugs (10) beim Aufzeichnen mit der Kamera (30) ergebende Bildfolge wird mittels 
der Rechnereinheit mit Zeitstempein versehen und zwischengespeichert. Mit einem 
Algorithmus zur Stereobildverarbeitung werden aus den zwischengespeicherten Bildern, 
unter Berucksichtigung der Eigenbewegung des Fahrzeugs (10), eln 3D-Abbild des 
Parkraums generiert. Aufgrund der 3D-lnformation kann unter Berucksichtigung einer 

15 festgelegten Einparkstrategie entschieden werden, ob der erfaBte 3D-Raum fur das 
Einparken des Fahrzeugs geeignet ist und insbesondere ausreichend Platz zum 
Einparken zur Verfugung steht. 

Fur den Fachmann ist es selbstverstandlich, dass sich der Erfindungsgegenstand auch 
20 fur andere Verwendung im StraBenverkehr eignet So eignet sich die Erfindung 
beispielsweise auch gewinnbringend zur Verwendung als Warnsystem, welches den 
seitlichen Abstand eines Fahrzeugs zum Fahrbahnrand vermiBt und bei Unterschreitung 
eines Mindestabstandes den Fahrer warnt, analog zu dem oben angefuhrten 
Ausfuhrungsbeispiel. 



25 
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Patentanspruche 



l.Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines 
Fahrzeugs, vorwiegend zur Detektion von Parklucken, 

wobei mittels einer Kamera digitate Bilder aufgezeichnet, mit einem Zeitstempel 
versehen und zwischengespeichert werden, dadurch gekennzeichnet, 

5 dass die Eigenbewegung des Fahrzeugs erfaBt wird, urn auf Grundiage dieser Daten aus 
den zwischen gespeicherten Bildern Bildpaare auszuwahlen, 

wobei die zu den beiden Aufnalimezeitpunkten vorliegende Position und Ausrichtung der 
Kamera bestimmt wird, 

und daB mittels eines Algorithmus zur Stereobildverarbeitung auf Grundiage des 
10 Bildpaares ein lokales 3D-Tiefenbild generiert wird wobei hierbei die Position und 
Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen 
Stereogeometrie berucksichtigt wird. 
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2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Erfassung der 
Eigenbewegung des Fahrzeugs insbesondere aufgrund der Geschwindigkeit, der Anzahl 
der Radumdrehungen, Navigationsinformation oder Daten von Fahrdynamiksystemen 
erfolgt. 

5 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswahl 
zwischengespeicherter Bilder zu Bildpaaren derart erfolgt, daB die zwischen den 
Aufnahmezeitpunkten der Bilder zuruckgelegte Wegstrecke einem vorgegebenem Wert 
entspricht 

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der vorgegebene Wert 
10 sich vorzugsweise im Bereich zwischen 0,2m und Im befindet, insbesondere 0,3 m 

betragt. 

5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass nur solche 
zwischengespeicherten Bilder zu Bildpaaren ausgewahit werden bei deren Aufnahme 
sich die Kanneraausrichtung nicht signifikant geandert hat. 

15 6. Verfahren nach einem der Anspriiche 1 bis 5, dadurch gekennzeichnet, dass eine 
Abfolge von lokalen 3D-Tiefenansichten akkumuliert werden wobei die Bilddaten der 
einzeinen lokalen 3D-Tiefenansichten die denselben Ortspunkten der Umgebung des 
Fahrzeugs zuzuordnen sind miteinander addiert werden. 

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Bilddaten vor der 
20 Addition einer Gewichtung unterzogen werden. 

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass im Rahmen der 
Gewichtung das mittels der akkumuiierten 3D-Tiefenansichten dargestellte Volumen in 
einzelne Volumenelemente geteilt wird. 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass alle Volumenelemente 
25 einem vordefinierten einheitlichen Volumen entsprechen. 

10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die 
Volumenelemente in einer Baumstruktur hinterlegt werden, insbesondere in der Form 
eines Octree. 

11. Verfahren nach einem der Anspruche 8 bis 10, dadurch gekennzeichnet, dass die 
30 jeweilige Anzahl der Bildpunkte innerhalb der einzeinen Volumenelemente, diesen 

Volumenelementen jeweils als Gewicht zugeordnet wird. 
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12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass ein Gewicht bestimmt 
wird, welches dem durchschnittllchen Gewicht aller Volumenelemente entspricht, wobei 
dieses Gesamtgewicht einen Schwellwert bildet, auf Grundlage dessen entschieden 
wird, ob die in den Einzelnen Volumenelennenten enthaltenen Bildpunkte bei der 

5 weiteren Verarbeitung beriicksichtigt werden, wobei nur diejenigen Bildpunkte 
berucksichtigt werden, bei denen das ihnen zugeordnete Volunnenelement ein Gewicht 
aufweist, das gleich oder groBer dem Schwellwert ist 

13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass zur Bildung des 
Gesamtgewichts nur diejenigen Volumenelemente herangezogen werden, welche 

1 0 Bildpunkte enthalten. 

14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass der 
Schwellwert durch Multiplikation des Gesamtgewichts mit einem Tuningfaktor gebildet 
wird. 

15. Vorrichtung zur 3D-Beobachtung und Vermessung der seitlichen Umgebung eines 
15 Fahrzeugs, vorwiegend zur Detektion von Parklucken, umfassend eine Kamera zur 

Aufnahme digltaler Bilder die mit einer DV-Einheit in Verbindung steht, mittels welcher 
die Bilder mit einem Zeitstempel versehen und zwischengespeichert werden, dadurch 
gekennzeichnet, 

dass eine Einheit zur Erfassung der Eigenbewegung des Fahrzeugs vorhanden ist, 

20 und dass ein Mittel vorgesehen ist, um auf Grundlage der Eigenbewegung Bilddaten zu 
Bildpaaren auszuwahlen, 

und welches mit einer Einheit zur Stereobildverarbeitung in Verbindung steht 

16. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Einheit zur 
Erfassung der Eigenbewegung des Fahrzeugs insbesondere ein Tachometer, Rad- 

25 Drehzahlmesser, Navigationssystem oder ein Fahrdynamiksystem ist. 

17. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Kamera 
vorzugsweise 90** zur Fahrtrichtung ausgerichtet ist. 

18. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Kamera 
unter einem Winkel von 45' - 135° zur Fahrtrichtung ausgerichtet ist. 

30 19. Vorrichtung nach einem der Anspruche 8 bis 11, dadurch gekennzeichnet, dass die 



wo 2004/029877 '^f^ ^^pPCT/EP2003/0 10456 

-11 - 



20. Verwendung der Vorrichtung oder des Verfahrens nach einem der vorgehenden 
Anspruche als Warnsystem, insbesondere zur Vermessung des Abstands des Fahrzeugs 
zum StraBenrand. 
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